フレーム間予測符号化の方法、装置、およびシステム

专利摘要:
フレーム間予測符号化及びフレーム間予測復号のための方法、装置、及びシステムが提供される。フレーム間予測符号化及びフレーム間予測復号のための方法は、現在の符号化ブロックのテンプレート領域とＬ個の参照フレーム内のＭ個のマッチするテンプレートとの間のひずみを計算し、Ｍ個のオフセットベクトルを決定し、決定されたＭ個のオフセットベクトルに従ってＭ個のマッチするテンプレートに対応する符号化ブロックのＭ個の所与の予測値を取得して、Ｍ個の所与の予測値に従って現在の符号化ブロックのテンプレートマッチング予測値を計算し、テンプレートマッチング予測値と現在の符号化ブロックの実際の値を比較して、現在の符号化ブロックの残差を取得して、残差を符号化する、ことを含む。上記技術的解決策は、ビデオの符号化システム及び復号システムの予測性能を高め、符号化及び復号の効率を高める。
公开号:JP2011511541A
申请号:JP2010544567
申请日:2009-04-10
公开日:2011-04-07
发明作者:ヴィーン、マティアス；カンプ、シュテフェン；チョン、リァンファン；リウ、インジャ
申请人:華為技術有限公司；
IPC主号:H04N7-32

专利说明:

[0001] 本発明の実施形態は、通信の技術分野に関し、より詳細にはフレーム間予測符号化の方法、装置、およびシステムに関する。]
背景技術

[0002] ビデオ符号化において、フレーム間動き補償予測（inter-frame motion compensation prediction）は、圧縮性能の改善のために非常に重要である。フレーム間動き補償予測の技術は、主に参照フレーム内の現在の符号化ブロックと最も正確にマッチする動きベクトル情報を探索するものであり、現在の符号化ブロックの動きベクトル情報は、インタ符号化（inter coding）フレームの符号ストリーム内のビットのうちのかなりの量を占有する。動きベクトル情報は、通常、符号器で生成され、符号ストリームに符号化され、次に、復号器が、復号された動きベクトル情報に従って現在の復号ブロックに対する動き補償予測を行う。動き補償に基づくフレーム間予測技術は、Ｈ．２６４／ＡＶＣ（Advanced Video Coding） ＡＶＳ（Audio Video Coding Standard）、およびＨ．２６４ＳＶＣ（Scalable Video Coding）などの現在の主要なビデオ符号化標準で採用されている。]
[0003] Ｈ．２６４／ＡＶＣでは、フレーム間予測は、符号ストリームから復号される動きベクトル情報を、復号フレームの対応する領域の情報と組み合わせることにより、現在の符号化ブロックに対する予測子（predictor）を得るものである。動きベクトル情報は、非標準の動き推定（motion estimation）アルゴリズムを使用することにより符号器で得られる。Ｈ．２６４／ＡＶＣでは、双方向符号化が、複合仮説予測（composite hypothesis prediction）を使用して、２つの動き補償予測子の平均値を最終予測値として得る。]
[0004] Ｈ．２６４／ＡＶＣは、動きベクトル情報が符号ストリーム中に書き込まれなければならないことを明示的に要求し、信号特性により復号器が動きベクトルパラメータを演繹できる場合でさえ、動きベクトル情報が符号器で符号ストリームに符号化されなければならいことが要求され、したがって、符号ストリームのビットを増加させる。]
[0005] 従来技術でさらに提案されているのが、Ｈ．２６４／ＡＶＣテンプレートマッチングに基づくインタ符号化法である。この方法は、新しい種類のマクロブロックおよびサブマクロブロックを導入して、テンプレートマッチング予測が使用されるべきかどうかを確認する。この方法は、複数の予測参照信号を平均することにより符号化効率を改善する。この場合、使用される予測参照信号の数は、テンプレート・マッチング・コストひずみ（template matching cost distortion）を計算することにより得られるしきい値を使って決定される。]
[0006] 多仮説予測（multi-hypothesis prediction）が使用される場合、前述の方法は、１つの参照フレームから得られる仮説予測値（hypothesis prediction value）を平均することにより最終予測値を得て、その結果、予測性能も符号化効率も比較的低い。さらに、使用される平均化法は、仮説予測値の算術平均値を計算するものである。算術平均値の計算は浮動小数点計算なので、大量の小数計算が、ソフトウェアおよびハードウェアの実装を複雑にする。]
発明が解決しようとする課題

[0007] 本発明の実施形態は、現在の符号化ブロックのテンプレート領域と複数の参照フレーム内の複数のマッチするテンプレートとの間のひずみを使って仮説予測値を得て、現在の符号化ブロックのテンプレートマッチング予測値（template matching prediction value）を計算するための、フレーム間予測符号化およびフレーム間予測復号のための方法、装置、およびシステムを提供する。したがって、予測性能および符号化効率が高められる。]
課題を解決するための手段

[0008] 上記の目的を達成するために、本発明の実施形態の一様態が、フレーム間予測符号化法を提供し、この方法は、現在の符号化ブロックのテンプレート領域とＬ個の参照フレーム内のＭ個のマッチするテンプレートそれぞれとの間のひずみを計算して、Ｍ個のオフセットベクトルを決定すること、Ｍ個の決定されたオフセットベクトルに従ってＭ個のマッチするテンプレートが対応するＭ個の仮説予測値を取得して、Ｍ個の仮説予測値に従って現在の符号化ブロックのテンプレートマッチング予測値を計算すること、および、テンプレートマッチング予測値を現在の符号化ブロックの元の値と比較して、現在の符号化ブロックの残差を得て、残差を符号化すること、を含む。ここで、ＬおよびＭは１よりも大きな自然数である。]
[0009] 別の様態によれば、本発明の一実施形態が、フレーム間予測復号法を提供し、この方法は、現在の復号ブロックのテンプレート領域とＬ個の参照フレーム内のＭ個のマッチするテンプレートそれぞれとの間のひずみを計算して、Ｍ個のオフセットベクトルを決定すること、Ｍ個の決定されたオフセットベクトルに従ってＭ個のマッチするテンプレートが対応する復号ブロックのＭ個の仮説予測値を取得して、Ｍ個の仮説予測値に従って現在の復号ブロックのテンプレートマッチング予測値を計算すること、および、現在の復号ブロックの残差を復号し、現在の復号ブロックの復号された残差を現在の復号ブロックのテンプレートマッチング予測値に加算して、現在の復号ブロックの再構成値を取得すること、を含む。ここで、ＬおよびＭは、１よりも大きな自然数である。]
[0010] 別の様態によれば、本発明の一実施形態が、フレーム間予測符号化装置を提供する。この装置は、現在の符号化ブロックのテンプレート領域とＬ個の参照フレーム内のＭ個のマッチするテンプレートそれぞれとの間のひずみを計算して、Ｍ個のオフセットベクトルを決定するために構成されるベクトル決定モジュールと、ベクトル決定モジュールにより決定されるＭ個のオフセットベクトルに従ってＭ個のマッチするテンプレートが対応する符号化ブロックのＭ個の仮説予測値を取得して、Ｍ個の仮説予測値に従って現在の符号化ブロックのテンプレートマッチング予測値を計算するために構成される予測値計算モジュールと、予測値計算モジュールが現在の符号化ブロックのテンプレートマッチング予測値を計算した後に、テンプレートマッチング予測値を現在の符号化ブロックの実際の値と比較し、現在の符号化ブロックの残差を取得して、残差を符号化するために構成される符号化モジュールと、を含む。ここでＬおよびＭは、１よりも大きな自然数である。]
[0011] 別の様態によれば、本発明の一実施形態は、フレーム間予測復号装置を提供する。この装置は、現在の復号ブロックのテンプレート領域とＬ個の参照フレーム内のＭ個のマッチするテンプレートそれぞれとの間のひずみを計算して、Ｍ個のオフセットベクトルを決定するために構成されるベクトル決定モジュールと、ベクトル決定モジュールにより決定されるＭ個のオフセットベクトルに従ってＭ個のマッチするテンプレートが対応する復号ブロックのＭ個の仮説予測値を取得して、Ｍ個の仮説予測値に従って現在の復号ブロックのテンプレートマッチング予測値を計算するために構成される予測値計算モジュールと、現在の復号ブロックの残差を復号し、現在の復号ブロックの復号された残差を現在の復号ブロックのテンプレートマッチング予測値に加算して、現在の復号ブロックの再構成値を取得するために構成される復号モジュールと、を含む。ここで、ＬおよびＭは、１よりも大きな自然数である。]
[0012] 別の様態によれば、本発明の一実施形態は、フレーム間予測符号化システムを提供する。このシステムは、コスト関数を使って現在の符号化ブロックのテンプレート領域とＬ個の参照フレーム内のＭ個のマッチするテンプレートそれぞれとの間のひずみを計算して、Ｍ個のオフセットベクトルを決定し、Ｍ個の決定されたオフセットベクトルに従ってＭ個のマッチするテンプレートが対応する符号化ブロックのＭ個の仮説予測値を取得して、Ｍ個の仮説予測値に従って現在の符号化ブロックのテンプレートマッチング予測値を計算し、テンプレートマッチング予測値を現在の符号化ブロックの実際の値と比較し、現在の符号化ブロックの残差を得て、残差を符号化するために構成されるフレーム間予測符号化装置を含む。ここで、ＬおよびＭは、１よりも大きな自然数である。]
[0013] 別の様態によれば、本発明の一実施形態は、フレーム間予測復号システムを提供する。このシステムは、コスト関数を使って現在の復号ブロックのテンプレート領域とＬ個の参照フレーム内のＭ個のマッチするテンプレートそれぞれとの間のひずみを計算して、Ｍ個のオフセットベクトルを決定し、Ｍ個の決定されたオフセットベクトルに従ってＭ個のマッチするテンプレートが対応する復号ブロックのＭ個の仮説予測値を取得して、Ｍ個の仮説予測値に従って現在の復号ブロックのテンプレートマッチング予測値を計算し、現在の復号ブロックの残差を復号し、現在の復号ブロックの復号された残差を現在の復号ブロックのテンプレートマッチング予測値に加算して、現在の復号ブロックの再構成値を取得するために構成されるフレーム間予測復号装置を含む。ここで、ＬおよびＭは、１よりも大きな自然数である。]
発明の効果

[0014] 本発明の実施形態は、従来技術に比べて以下の利点を備えている。本発明の実施形態は、現在の符号化ブロック／復号ブロックのテンプレート領域と複数の参照フレーム内の複数のマッチするテンプレートとの間のひずみを計算することにより、複数のマッチするテンプレートが対応する符号化ブロック／復号ブロックの複数の仮説予測値を取得して、複数の仮説予測値に従って符号化ブロック／復号ブロックのテンプレートマッチング予測値を計算して、それにより、ビデオ符号化の予測性能を高め、符号化効率を高める。]
図面の簡単な説明

[0015] 本発明の一実施形態によるテンプレート・マッチング・パラメータを示す概略図である。
本発明の一実施形態によるフレーム間予測符号化法を示す流れ図である。
本発明の一実施形態によるフレーム間予測符号化システムの構造図である。
本発明の一実施形態によるフレーム間予測復号システムの構造図である。]
実施例

[0016] 本発明の実施形態は、テンプレート・マッチング・アルゴリズムを利用して、Ｒ×Ｒピクセルからなる正方形領域に対して仮説予測値を生成する。図１に示されるように、現在の符号化ブロックに隣接する符号化済みおよび復号済みブロック内にテンプレートが定義される。図１では、参照番号１により示される領域がテンプレート領域であり、参照番号２により示される領域が現在の符号化ブロックであり、参照番号３により示される領域が符号化済みブロック、すなわち、再構成された領域であり、参照番号４により示される領域が符号化されるべきブロックである。] 図１
[0017] 図２は、本発明の一実施形態によるフレーム間予測符号化法を示す流れ図である。この方法は以下のステップを含む。] 図２
[0018] ステップＳ２０１：コスト関数を使って現在の符号化ブロックのテンプレート領域と、複数の参照フレーム内の複数のマッチするテンプレートとの間のひずみを計算して、複数のオフセットベクトルを決定する。ここで、複数のマッチするテンプレートは、複数の参照フレーム内を探索することにより取得される。探索する場所は、すべての参照フレーム（多数のフレーム）または単一の参照フレーム（たとえば、最適なテンプレートが位置する参照フレーム）のセットとすることができ、探索場所はまた、あらかじめセットされた符号化オフセットベクトル情報および／または参照フレームシリアル番号が対応する参照フレームとすることもできる。本発明の一実施形態では、複数のマッチするテンプレートを探索する場所は、すべての参照フレーム（多数のフレーム）のセットである。]
[0019] 現在の符号化ブロックのテンプレート領域と複数の参照フレーム内の複数のマッチするテンプレートとの間のひずみは、現在の符号化ブロックの予測値と現在の符号化ブロックの実際の値との間の差である。現在の符号化ブロックの実際の値は、現在の符号化ブロックの元の値、すなわち、符号化前のピクセル値であり、現在の符号化ブロックの予測値は、符号化前のピクセルに対する予測値である。オフセットベクトルは、現在の符号化ブロックのテンプレート領域と参照フレーム内のマッチするテンプレートとの間の位置の差であり、現在の符号化ブロックのテンプレート領域と各参照フレーム内の各マッチするテンプレートとの間のひずみが１つのオフセットベクトルに対応し、そのため、現在の符号化ブロックのテンプレート領域と複数の参照フレーム内の複数のマッチするテンプレートとの間のひずみにより、複数のオフセットベクトルを決定することが可能である。具体的には、複数のマッチするテンプレートは、参照フレーム毎に見つけ得て、そのため、現在の符号化ブロックのテンプレート領域とＬ個の参照フレーム内のＭ個のマッチするテンプレートそれぞれとの間のひずみにより、Ｍ個のオフセットベクトルを決定することができる。ここで、ＬおよびＭは、１よりも大きな自然数である。]
[0020] 図１に示されるように、提案されるコスト関数を使って現在の符号化ブロックのテンプレート領域と複数の参照フレーム内の複数のマッチするテンプレートとの間のひずみが計算されて、複数のオフセットベクトルを決定する。ここで、コスト関数は、テンプレート領域と参照フレーム内の対応する領域とのピクセル値の差の絶対値の和である。たとえば、テンプレート領域と参照フレーム内の対応する領域とのピクセル値の差の二乗の和などの他のコスト関数を使用することもできる。参照フレーム内の対応する領域は、テンプレート領域の場所に従って参照フレーム内で見つけられ、かつ、テンプレート領域とマッチする領域である。] 図１
[0021] ステップＳ２０２：複数の決定されたオフセットベクトルに従って複数のマッチするテンプレートが対応する符号化ブロックの複数の仮説予測値を取得して、複数の仮説予測値に従って現在の符号化ブロックのテンプレートマッチング予測値を計算する。仮説予測値は、多数の予測が行われたときの一連の予測値であり、テンプレートマッチング予測値は、テンプレートマッチング技術を使用することにより取得される現在の符号化ブロックの予測値である。]
[0022] 複数のオフセットベクトルが決定された後に、複数のオフセットベクトルは、現在の符号化ブロックのテンプレート領域とマッチするテンプレートとの間のひずみの値に従って所定の順序で配列されて、参照フレームのオフセットベクトル情報とは独立したサブセットリストｖｎ得る。所定の順序は、昇順または降順とすることができ、説明すべき本発明の実施形態の例として、昇順が取り上げられる。]
[0023] その後、マッチするテンプレートが対応する符号化ブロックの所定の数の仮説予測値が、オフセットベクトルのひずみの昇順に従ってリストから選択される。具体的には、マッチするテンプレートが対応する符号化ブロックの所定の数の仮説予測値が、先行するＭ個のオフセットベクトルのひずみの昇順に従ってリストから選択される。所定の数をＮとすることができ、Ｎの値は、あらかじめ決定することができ、Ｎの最小値は１である。Ｎの最大値がＭであることを理解することができる。Ｎの値はまた、現在の符号化ブロックのテンプレート領域とマッチするテンプレートとの間のひずみ、または参照フレームの数により決定することもできる。たとえば、しきい値が設定され、現在の符号化ブロックのテンプレート領域およびマッチするテンプレートのしきい値よりも大きいまたは小さいひずみが対応するオフセットベクトルが選択される。]
[0024] Ｎ個の仮説予測値が取得された後に、Ｎ個の仮説予測値は、重み付き平均され、Ｎ個の仮説予測値を重み付き平均することにより得られる値が、現在の符号化ブロックのテンプレートマッチング予測値ＴＭ＿Ｐとなる。テンプレートマッチング予測値ＴＭ＿Ｐはまた、ピクセルに対して整数の精度で平均することにより計算することもできる。重み付き平均法は、説明すべき本発明の実施形態の例のために取り上げられる。]
[0025] 重み付き平均法を使用してテンプレートマッチング予測値ＴＭ＿Ｐを計算することは、マッチするテンプレートが対応する符号化ブロックのＮ個の仮説予測値とＮ個の重み付け係数との積の和を計算することとして理解することができ、以下の式で示される。]
[0026] 計算によりテンプレートマッチング予測値ＴＭ＿Ｐが取得された後、現在の符号化ブロックの情報を符号化するとき、テンプレートマッチング予測値ＴＭ＿Ｐを現在の符号化ブロックの実際の値と比較すること、現在の符号化ブロックの残差を取得すること、および、現在の符号化ブロックの取得された残差を符号化することがさらに実行されるべきである。現在の符号化ブロックの実際の値は、現在の符号化ブロックの初期値、すなわち、符号化前のピクセル値である。]
[0027] 本発明の実施形態により提供されるフレーム間予測符号化法は、複数の決定されたオフセットベクトルに従って複数のマッチするテンプレートが対応する符号化ブロックの複数の仮説予測値を取得して、複数の仮説予測値を重み付き平均して、テンプレートマッチング予測値を決定し、テンプレートマッチング予測値の残差および現在の符号化ブロックの実際の値を符号化し、そのため、現在の符号化ブロックのオフセットベクトル情報を符号化する必要がなく、それにより、符号化量を低減し、符号化効率が高まる。さらに、重み付き平均は、整数計算で行われ、それにより、計算の複雑さが低減する。]
[0028] 上記のフレーム間予測符号化法に対応して、本発明の一実施形態は、フレーム間予測復号法をさらに提案する。この方法は、以下を含む。テンプレートマッチング予測値ＴＭ＿Ｐが計算により取得された後、現在の復号ブロックが復号されるとき、現在の復号ブロックが対応する残差情報が復号され、該残差情報がテンプレートマッチング予測値ＴＭ＿Ｐに加算されて、現在の復号ブロックの再構成値を取得する。現在の復号ブロックの再構成値は、現在の復号ブロックの復元された値、すなわち、残差をテンプレートマッチング予測値に加算することにより得られる値である。テンプレートマッチング予測値ＴＭ＿Ｐが復号器で計算されるとき、テンプレートマッチングの探索範囲は、現在の復号ブロックの位置の座標を中心とする複数の参照フレーム内である。]
[0029] 本発明の実施形態により提供されるフレーム間予測復号法は、複数の決定されたオフセットベクトルに従って複数のマッチするテンプレートが対応する復号ブロックの仮説予測値を取得して、複数の仮説予測値を重み付き平均して、テンプレートマッチング予測値を決定し、現在の復号ブロックを復号するとき、現在の復号ブロックが対応する残差情報を復号し、決定されたテンプレートマッチング予測値に残差情報を加算して、現在の復号ブロックの再構成値を取得する。符号器は、オフセットベクトルを符号化しないので、復号器がオフセットベクトルを復号する必要がなく、それにより、復号器の符号化効率が改善される。]
[0030] 本発明の実施形態により提案されるフレーム間予測符号化法およびフレーム間予測復号法を使用することにより符号化されるブロックおよび／または復号されるブロックが、複数のサブブロックを含むとき、各サブブロックは、現在の復号ブロックの復号される残差の符号化法／復号法により符号化／復号され、各サブブロックのテンプレート領域は、本発明の実施形態により提供されるフレーム間予測符号化法およびフレーム間予測復号法を使用することにより取得されるテンプレートマッチング予測値を含む。現在の復号ブロックの残差を復号するとき、テンプレートマッチング予測値ＴＭ＿Ｐを計算して残差を符号化／復号する前に、符号器／復号器が、全マクロブロックを予測する必要があり得、現在の符号化ブロック／復号ブロックのテンプレート領域が不完全な場合、現在の符号化ブロック／復号ブロックに隣接する符号化ブロック／復号ブロックのテンプレートマッチング予測値が、再構成値として使用され、その結果、現在の符号化ブロック／復号ブロックに隣接する符号化ブロック／復号ブロックが、現在の符号化ブロック／復号ブロックのテンプレート領域の一部になる。]
[0031] 図３は、本発明の一実施形態によるフレーム間予測符号化システムの構造図であり、フレーム間予測符号化システムは、コスト関数を使って現在の符号化ブロックのテンプレート領域と複数の参照フレーム内の複数のマッチするテンプレートとの間のひずみを計算して、複数のオフセットベクトルを決定し、複数の決定されたオフセットベクトルに従って複数のマッチするテンプレートが対応する符号化ブロックの複数の仮説予測値を取得して、複数の仮説予測値に従って現在の符号化ブロックのテンプレートマッチング予測値を計算し、テンプレートマッチング予測値を現在の符号化ブロックの実際の値と比較し、現在の符号化ブロックの残差を取得して、残差を符号化するフレーム間予測符号化装置３を含む。] 図３
[0032] フレーム間予測符号化装置３は、現在の符号化ブロックのテンプレート領域とＬ個の参照フレーム内のＭ個のマッチするテンプレートそれぞれとの間のひずみを計算して、Ｍ個のオフセットベクトルを決定するために構成されるベクトル決定モジュール３１と、ベクトル決定モジュールにより決定されるＭ個のオフセットベクトルに従ってＭ個のマッチするテンプレートが対応する符号化ブロックのＭ個の仮説予測値を取得して、Ｍ個の仮説予測値に従って現在の符号化ブロックのテンプレートマッチング予測値を計算するために構成される予測値計算モジュール３２と、予測値計算モジュールが現在の符号化ブロックのテンプレートマッチング予測値を計算した後に、テンプレートマッチング予測値を現在の符号化ブロックの実際の値と比較し、現在の符号化ブロックの残差を取得して、残差を符号化するために構成される符号化モジュール３３と、を含み、ＬおよびＭは、１よりも大きな自然数である。]
[0033] 予測値計算モジュール３２は、Ｍ個の仮説予測値からＮ個の仮説予測値を選択するために構成される選択サブモジュール３２１と、選択サブモジュールにより選択される、マッチするテンプレートが対応する符号化ブロックのＮ個の仮説予測値を重み付き平均して、現在の符号化ブロックのテンプレートマッチング予測値を計算するために構成される計算サブモジュール３２２と、を含むことがあり、ＮはＭ以下の自然数である。]
[0034] 上記のフレーム間予測符号化システムおよびフレーム間予測符号化装置３では、予測値計算モジュール３２は、ベクトル決定モジュール３１により決定される複数のオフセットベクトルに従って複数のマッチするテンプレートが対応する符号化ブロックの複数の仮説予測値を取得して、複数の仮説予測値を重み付き平均して、テンプレートマッチング予測値を決定する。符号化モジュール３３は、テンプレートマッチング予測値の残差および現在の符号化ブロックの実際の値を符号化し、そのため、現在の符号化ブロックのオフセットベクトル情報を符号化する必要がなく、それにより、符号化ビットを低減し、符号化効率が改善する。さらに、予測値計算モジュール３２は、整数計算で重み付き平均を行い、それにより、計算の複雑さが低減する。]
[0035] 図４は、本発明の一実施形態によるフレーム間予測復号システムの構造図であり、フレーム間予測復号システムは、コスト関数を使って現在の復号ブロックのテンプレート領域と複数の参照フレーム内の複数のマッチするテンプレートとの間のひずみを計算して、複数のオフセットベクトルを決定し、複数の決定されたオフセットベクトルに従って複数のマッチするテンプレートが対応する復号ブロックの複数の仮説予測値を取得して、複数の仮説予測値に従って現在の復号ブロックのテンプレートマッチング予測値を計算し、現在の復号ブロックの残差を復号し、現在の復号ブロックの復号された残差を現在の復号ブロックのテンプレートマッチング予測値に加算して、現在の復号ブロックの再構成値を取得するフレーム間予測復号装置４を含む。] 図４
[0036] フレーム間予測復号装置４は、現在の復号ブロックのテンプレート領域とＬ個の参照フレーム内のＭ個のマッチするテンプレートそれぞれとの間のひずみを計算して、Ｍ個のオフセットベクトルを決定するために構成されるベクトル決定モジュール４１と、ベクトル決定モジュールにより決定されるＭ個のオフセットベクトルに従ってＭ個のマッチするテンプレートが対応する復号ブロックのＭ個の仮説予測値を取得して、Ｍ個の仮説予測値に従って現在の復号ブロックのテンプレートマッチング予測値を計算するために構成される予測値計算モジュール４２と、現在の復号ブロックの残差を復号し、現在の復号ブロックの復号された残差を現在の復号ブロックのテンプレートマッチング予測値に加算して、現在の復号ブロックの再構成値を取得するために構成される復号モジュール４３と、を含み、ＬおよびＭは、１よりも大きな自然数である。]
[0037] 予測値計算モジュール４２は、Ｍ個の仮説予測値からＮ個の仮説予測値を選択するために構成される選択サブモジュール４２１と、選択サブモジュールにより選択される、マッチするテンプレートが対応する復号ブロックのＮ個の仮説予測値を重み付け平均して、現在の復号ブロックのテンプレートマッチング予測値を計算するために構成される計算サブモジュール４２２と、を含むことがあり、ＮはＭ以下の自然数である。]
[0038] 上記のフレーム間予測復号システムおよびフレーム間予測復号装置４では、予測値計算モジュール４２は、ベクトル決定モジュール４１により決定される複数のオフセットベクトルに従って複数のマッチするテンプレートが対応する復号ブロックの複数の仮説予測値を取得して、複数の仮説予測値を重み付け平均して、テンプレートマッチング予測値を決定し、復号モジュール４３は、現在の復号ブロックを復号する間、現在の復号ブロックが対応する残差情報を復号し、決定されたテンプレートマッチング予測値に残差情報を加算して、現在の復号ブロックの再構成値を取得する。符号器はオフセットベクトルを符号化しないので、復号モジュール４３はオフセットベクトルを復号する必要がなく、それにより、符号化効率が改善する。]
[0039] 実施形態の上記の説明により、本発明は、必要な汎用ハードウェアプラットフォームを加えたソフトウェアにより実装されることができ、当然、ハードウェアだけにより実装されることができるが、多くの状況の下では前者の方式が好ましい実施形態であることを当業者は明確に理解すべきである。そのような理解に基づき、本発明の技術的解決策の趣旨または最新技術に貢献する本発明の一部が、記憶媒体に記憶され、かつパーソナルコンピュータ、サーバ、ネットワーク装置などとすることができるコンピュータ装置が本発明の実施形態に記載される方法を実行することができるようにする複数の命令群を含むコンピュータソフトウェア製品の形で実施されることができる。]
[0040] 上記に開示されているのは、本発明のいくつかの具体的な実施形態でしかないが、当業者に考えられるすべての変更形態が本発明の保護範囲の中に入るべきであるように、本発明は、本発明のいくつかの具体的な実施形態に制限されるわけではない。
本出願は、全内容が参照により本明細書に組み込まれる、以前２００８年４月１１日に中国特許庁に提出された「フレーム間予測符号化の方法、装置、およびシステム」と題する中国特許出願Ｎｏ．２００８１００８９３１８．６の利益を主張する。]

权利要求:

請求項1
フレーム間予測符号化法であって、現在の符号化ブロックのテンプレート領域とＬ個の参照フレーム内のＭ個のマッチするテンプレートそれぞれとの間のひずみを計算して、Ｍ個のオフセットベクトルを決定し、前記決定されたＭ個のオフセットベクトルに従って前記Ｍ個のマッチするテンプレートが対応する符号化ブロックのＭ個の仮説予測値を取得して、該Ｍ個の仮説予測値に従って前記現在の符号化ブロックのテンプレートマッチング予測値を計算し、前記テンプレートマッチング予測値を前記現在の符号化ブロックの元の値と比較し、前記現在の符号化ブロックの残差を取得して、該残差を符号化する、ことを含み、ＬおよびＭは、１よりも大きな自然数である、フレーム間予測符号化法。
請求項2
前記Ｍ個のマッチするテンプレートは、前記Ｌ個の参照フレームを探索することにより取得される、請求項１に記載のフレーム間予測符号化法。
請求項3
前記Ｍ個の仮説予測値に従って現在の符号化ブロックのテンプレートマッチング予測値を計算することは、前記Ｍ個の仮説予測値からＮ個の仮説予測値を選択し、前記選択されたＮ個の仮説予測値に従って前記現在の符号化ブロックのテンプレートマッチング予測値を計算する、ことを含み、ＮはＭ以下の自然数である、請求項１に記載のフレーム間予測符号化法。
請求項4
前記数Ｎは、あらかじめ決定されるか、または、テンプレートマッチングひずみコストもしくは前記参照フレームの数に従って決定される、請求項３に記載のフレーム間予測符号化法。
請求項5
前記選択されたＮ個の仮説予測値に従って前記現在の符号化ブロックのテンプレートマッチング予測値を計算することは、前記マッチするテンプレートが対応する前記符号化ブロックの前記選択されたＮ個の仮説予測値を重み付き平均して、前記現在の符号化ブロックのテンプレートマッチング予測値を計算することを含む、請求項３に記載のフレーム間予測符号化法。
請求項6
前記選択されたＮ個の仮説予測値を重み付き平均することは、前記マッチするテンプレートが対応する前記符号化ブロックの前記選択されたＮ個の仮説予測値とＮ個の重み付け係数との積の和を計算することを含む、請求項５に記載のフレーム間予測符号化法。
請求項7
前記重み付け係数は、前記現在の符号化ブロックのテンプレート領域と前記Ｌ個の参照フレーム内の前記Ｎ個のマッチするテンプレートそれぞれとの間の、コスト関数に従って計算されるひずみにより決定される、請求項６に記載のフレーム間予測符号化法。
請求項8
前記現在の符号化ブロックのテンプレート領域が不完全なとき、前記現在の符号化ブロックに隣接する符号化ブロックのテンプレートマッチング予測値を再構成値として使用し、前記現在の符号化ブロックに隣接する符号化ブロックが、前記現在の符号化ブロックのテンプレート領域の一部になることをさらに含む、請求項１に記載のフレーム間予測符号化法。
請求項9
フレーム間予測復号法であって、現在の復号ブロックのテンプレート領域とＬ個の参照フレーム内のＭ個のマッチするテンプレートそれぞれとの間のひずみを計算して、Ｍ個のオフセットベクトルを決定し、前記決定されたＭ個のオフセットベクトルに従って前記Ｍ個のマッチするテンプレートが対応する復号ブロックのＭ個の仮説予測値を取得して、前記Ｍ個の仮説予測値に従って前記現在の復号ブロックのテンプレートマッチング予測値を計算し、前記現在の復号ブロックの残差を復号し、前記現在の復号ブロックの前記復号された残差を前記現在の復号ブロックのテンプレートマッチング予測値に加算して、前記現在の復号ブロックの再構成値を取得する、ことを含み、ＬおよびＭは、１よりも大きな自然数である、フレーム間予測復号法。
請求項10
前記Ｍ個のマッチするテンプレートは、前記Ｌ個の参照フレームを探索することにより取得される、請求項９に記載のフレーム間予測復号法。
請求項11
前記Ｍ個の仮説予測値に従って現在の復号ブロックのテンプレートマッチング予測値を計算することは、前記Ｍ個の仮説予測値からＮ個の仮説予測値を選択し、前記選択されたＮ個の仮説予測値に従って前記現在の復号ブロックのテンプレートマッチング予測値を計算する、ことを含み、ＮはＭ以下の自然数である、請求項９に記載のフレーム間予測復号法。
請求項12
前記数Ｎは、あらかじめ決定されるか、または、テンプレートマッチングひずみコストもしくは前記参照フレームの数に従って決定される、請求項１１に記載のフレーム間予測復号法。
請求項13
前記選択されたＮ個の仮説予測値に従って現在の復号ブロックのテンプレートマッチング予測値を計算することは、前記マッチするテンプレートが対応する復号ブロックの前記選択されたＮ個の仮説予測値を重み付き平均して、前記現在の復号ブロックのテンプレートマッチング予測値を計算することを含む、請求項１１に記載のフレーム間予測復号法。
請求項14
前記選択されたＮ個の仮説予測値を重み付き平均することは、前記マッチするテンプレートが対応する復号ブロックの前記選択されたＮ個の仮説予測値とＮ個の重み付け係数との積の和を計算することを含む、請求項１３に記載のフレーム間予測復号法。
請求項15
前記重み付け係数は、前記現在の復号ブロックのテンプレート領域と前記Ｌ個の参照フレーム内の前記Ｎ個のマッチするテンプレートそれぞれとの間の、コスト関数に従って計算されるひずみにより決定される、請求項１４に記載のフレーム間予測復号法。
請求項16
前記現在の復号ブロックのテンプレート領域が不完全なとき、前記現在の復号ブロックに隣接する復号ブロックのテンプレートマッチング予測値を再構成値として使用し、前記現在の復号ブロックに隣接する復号ブロックが、前記現在の復号ブロックのテンプレート領域の一部になることをさらに含む、請求項９に記載のフレーム間予測復号法。
請求項17
フレーム間予測符号化装置であって、現在の符号化ブロックのテンプレート領域とＬ個の参照フレーム内のＭ個のマッチするテンプレートそれぞれとの間のひずみを計算して、Ｍ個のオフセットベクトルを決定するために構成されるベクトル決定モジュールと、前記ベクトル決定モジュールにより決定されるＭ個のオフセットベクトルに従って前記Ｍ個のマッチするテンプレートが対応する符号化ブロックのＭ個の仮説予測値を取得して、前記Ｍ個の仮説予測値に従って前記現在の符号化ブロックのテンプレートマッチング予測値を計算するために構成される予測値計算モジュールと、前記予測値計算モジュールが前記現在の符号化ブロックのテンプレートマッチング予測値を計算した後、前記テンプレートマッチング予測値を前記現在の符号化ブロックの元の値と比較し、前記現在の符号化ブロックの残差を取得して、前記残差を符号化するために構成される符号化モジュールと、を含み、ＬおよびＭは、１よりも大きな自然数である、フレーム間予測符号化装置。
請求項18
前記予測値計算モジュールは、前記Ｍ個の仮説予測値からＮ個の仮説予測値を選択するために構成される選択サブモジュールと、前記マッチするテンプレートが対応する符号化ブロックの、前記選択サブモジュールにより選択されるＮ個の仮説予測値を重み付け平均して、前記現在の符号化ブロックのテンプレートマッチング予測値を計算するために構成される計算サブモジュールと、を含み、Ｎは、Ｍ以下の自然数である、請求項１７に記載のフレーム間予測符号化装置。
請求項19
前記数Ｎは、あらかじめ決定されるか、または、テンプレートマッチングひずみコストもしくは前記参照フレームの数に従って決定される、請求項１８に記載のフレーム間予測符号化装置。
請求項20
フレーム間予測復号装置であって、現在の復号ブロックのテンプレート領域とＬ個の参照フレーム内のＭ個のマッチするテンプレートそれぞれとの間のひずみを計算して、Ｍ個のオフセットベクトルを決定するために構成されるベクトル決定モジュールと、前記ベクトル決定モジュールにより決定されるＭ個のオフセットベクトルに従って前記Ｍ個のマッチするテンプレートが対応する復号ブロックのＭ個の仮説予測値を取得して、前記Ｍ個の仮説予測値に従って前記現在の復号ブロックのテンプレートマッチング予測値を計算するために構成される予測値計算モジュールと、前記現在の復号ブロックの残差を復号し、前記現在の復号ブロックの復号された残差を前記現在の復号ブロックのテンプレートマッチング予測値に加算して、前記現在の復号ブロックの再構成値を取得するために構成される復号モジュールと、を含み、ＬおよびＭは、１よりも大きな自然数である、フレーム間予測復号装置。
請求項21
前記予測値計算モジュールは、前記Ｍ個の仮説予測値からＮ個の仮説予測値を選択するために構成される選択サブモジュールと、前記マッチするテンプレートが対応する復号ブロックの、前記選択サブモジュールにより選択されるＮ個の仮説予測値を重み付き平均して、前記現在の復号ブロックのテンプレートマッチング予測値を計算するために構成される計算サブモジュールと、を含み、ＮはＭ以下の自然数である、請求項２０に記載のフレーム間予測復号装置。
請求項22
前記数Ｎは、あらかじめ決定されるか、または、テンプレートマッチングひずみコストもしくは前記参照フレームの数に従って決定される、請求項２１に記載のフレーム間予測復号装置。
請求項23
フレーム間予測符号化システムであって、コスト関数を使って現在の符号化ブロックのテンプレート領域とＬ個の参照フレーム内のＭ個のマッチするテンプレートそれぞれとの間のひずみを計算して、Ｍ個のオフセットベクトルを決定し、前記決定されたＭ個のオフセットベクトルに従って前記Ｍ個のマッチするテンプレートが対応する符号化ブロックのＭ個の仮説予測値を取得して、前記Ｍ個の仮説予測値に従って前記現在の符号化ブロックのテンプレートマッチング予測値を計算し、前記テンプレートマッチング予測値を前記現在の符号化ブロックの元の値と比較し、前記現在の符号化ブロックの残差を取得して、前記残差を符号化するために構成されるフレーム間予測符号化装置を含み、ＬおよびＭは、１よりも大きな自然数である、フレーム間予測符号化システム。
請求項24
前記フレーム間予測符号化装置は、現在の符号化ブロックのテンプレート領域とＬ個の参照フレーム内のＭ個のマッチするテンプレートそれぞれとの間のひずみを計算して、Ｍ個のオフセットベクトルを決定するために構成されるベクトル決定モジュールと、前記ベクトル決定モジュールにより決定されるＭ個のオフセットベクトルに従って前記Ｍ個のマッチするテンプレートが対応する符号化ブロックのＭ個の仮説予測値を取得して、前記Ｍ個の仮説予測値に従って前記現在の符号化ブロックのテンプレートマッチング予測値を計算するために構成される予測値計算モジュールと、前記予測値計算モジュールが、前記現在の符号化ブロックのテンプレートマッチング予測値を計算した後、前記テンプレートマッチング予測値を前記現在の符号化ブロックの元の値と比較し、前記現在の符号化ブロックの残差を取得して、前記残差を符号化するために構成される符号化モジュールと、を含む、請求項２３に記載のフレーム間予測符号化システム。
請求項25
フレーム間予測復号システムであって、コスト関数を使って現在の復号ブロックのテンプレート領域とＬ個の参照フレーム内のＭ個のマッチするテンプレートそれぞれとの間のひずみを計算して、Ｍ個のオフセットベクトルを決定し、前記決定されたＭ個のオフセットベクトルに従って前記Ｍ個のマッチするテンプレートが対応する復号ブロックのＭ個の仮説予測値を取得して、前記Ｍ個の仮説予測値に従って前記現在の復号ブロックのテンプレートマッチング予測値を計算し、前記現在の復号ブロックの残差を復号し、前記現在の復号ブロックの前記復号された残差を前記現在の復号ブロックのテンプレートマッチング予測値に加算して、前記現在の復号ブロックの再構成値を取得するために構成されるフレーム間予測復号装置を含み、ＬおよびＭは、１よりも大きな自然数である、フレーム間予測復号システム。
請求項26
前記フレーム間予測復号装置は、現在の復号ブロックのテンプレート領域とＬ個の参照フレーム内のＭ個のマッチするテンプレートそれぞれとの間のひずみを計算して、Ｍ個のオフセットベクトルを決定するために構成されるベクトル決定モジュールと、前記ベクトル決定モジュールにより決定されるＭ個のオフセットベクトルに従って前記Ｍ個のマッチするテンプレートが対応する復号ブロックのＭ個の仮説予測値を取得して、前記Ｍ個の仮説予測値に従って前記現在の復号ブロックのテンプレートマッチング予測値を計算するために構成される予測値計算モジュールと、前記現在の復号ブロックの残差を復号し、前記現在の復号ブロックの前記復号された残差を前記現在の復号ブロックのテンプレートマッチング予測値に加算して、現在の復号ブロックの再構成値を取得するために構成される復号モジュールと、を含む、請求項２５に記載のフレーム間予測復号システム。